带广义二阶路由的多状态线性注意力
🧭 多状态线性注意力长上下文聚合路由 ★ 深度解读
Princeton University · Google DeepMind
提出MERLIN，用段内keys的一/二阶矩恢复query-段对齐的均值与方差，提升多状态线性注意力聚合路由
📌 工作参考价值（4 点）
- 长期用户行为序列建模：若用分段线性注意力/记忆状态压缩用户历史（按会话、时间窗分段），可借鉴二阶矩路由。当前均值pooling只捕捉平均兴趣，二阶矩能捕捉段内兴趣峰值与多样性，对定位“某一次强购买意图”更准，有助于CTR/CVR预估或召回。
- RAG/LLM生成推荐理由或广告文案：在长上下文多文档、多商品描述中，用query与段落keys的一阶+二阶矩计算相关性权重，可缓解仅基于位置或均值导致的近因偏差，让模型更均匀地利用中前段关键信息，适合检索增强生成中的证据选择。
- 工程落地：额外缓存每段keys的一阶/二阶矩开销很小（dr=128时约4–13%内存增量，参数增量与meanpooling相当）。建议为路由使用独立的key/query投影（shared-KQ会明显掉点），并采用可学习gate混合均值/方差项，而非固定系数。
- 注意该方法需要mid-training将单状态backbone转为多状态，无法即插即用；如果业务已有长序列记忆或State Space模型，可将其作为继续预训练阶段加入。
基于流的谱核学习用于非平稳注意力
🧭 注意力核学习 · 线性注意力
The University of Hong Kong · National University of Singapore · Universidad Carlos III de Madrid
FSKA 用归一化流学习非平稳注意力核，移除 QK 投影并固定正交 V 投影，减少参数 40-47% 且保持线性注意力
📌 工作参考价值（4 点）
- 在电商用户行为序列 Transformer 中可替换标准 softmax 注意力为 FSKA：线性注意力内存扩展适合处理长点击/购买序列，避免截断，尤其适合用户长期兴趣建模。
- 投影参数减少 40-47% 的思路可直接用于压缩 CTR/CVR 或 Agent 策略网络的 Transformer 层：移除 query/key 投影、使用固定正交 value 投影，能降低参数量和过拟合风险，适合中小规模业务数据。
- 可学习的非平稳核比固定 softmax/RBF 更灵活，可适应行为序列中时间间隔、事件类型等异构 token 交互；其谱密度正则化方式可迁移到其他基于内积的匹配或聚合层。
- 注意论文聚焦通用序列建模，在推荐/广告数据上的效果需自行验证；更偏组件级参考而非端到端推荐算法。
构建多学科AI研究团队自主发现线性注意力架构
🧭 多智能体协作自主架构搜索
UC Santa Barbara · Pennsylvania State University · LinkedIn
通过不同学科背景、私有历史与自适应分配组织多智能体团队，自主搜索出优于GDN2的线性注意力架构
📌 工作参考价值（4 点）
- 在推荐/广告模型结构搜索中，可借鉴“多学科背景Agent团队”设计，让不同Agent从召回、排序、多任务、效率等视角提出正交的架构修改，避免群体思维陷入局部最优。
- “私有研究历史”机制可迁移到A/B实验知识管理：每个实验Owner保留独立的假设与失败记录，仅共享实验结果，防止过早收敛到主流方案。
- 自适应分配研究机会（而非均匀轮询）适合实验预算有限的场景：根据近期收益动态调整各Agent的探索资源，把更多算力给有潜力的方向。
- 对于线性注意力等新型高效模块，业务侧可以低成本在小规模（如150M参数）用该团队框架快速筛选候选，再扩展到线上模型，节省大规模训练开销。
长上下文混合模型机理 1.1：从混合注意力到混合位置
🧭 混合注意力 · 长度外推与上下文扩展 ★ 深度解读
Fudan University · Shanghai Innovation Institute · OpenMOSS Team
揭示 NoPE 与位置偏置注意力的协作机理，提出滑动窗口线性注意力实现 16 倍免训练长度外推
📌 工作参考价值（4 点）
- 在电商/推荐场景建模超长用户行为序列时，可采用「NoPE full attention + 滑动窗口/线性注意力」混合架构替代全注意力，降低长序列推理的 KV cache 与计算成本；NoPE 使用 log-scale attention scaling 可免训练外推到训练长度之外。
- 若业务模型需长上下文继续预训练，避免 SWA 混合的短上下文陷阱：滑动窗口不要保持 128，建议扩到 2048 并加入 LongCE 损失；若用 LA 混合，优先利用其训练长度内的拟合优势，OOD 外推需额外设计。
- 在排序/召回模型中引入无位置 attention 头做全局检索时，可参考 3:1 混合比；通过 attention entropy 与 top-k hit rate 分析头功能，避免盲目增加 NoPE 比例导致噪声上升。
- 评估长上下文检索能力时，除下游指标外可加入 RULER/BABILong 与 attention entropy 分析，快速定位长程依赖失效是架构问题还是训练问题。
HLA：基于分块动态混合的高表达混合线性注意力
🧭 高效长上下文注意力机制 ★ 深度解读
Monash University · Zhejiang University
将历史 chunk 表示为仿射转移并用查询相关门控动态混合，提升长上下文检索
📌 工作参考价值（4 点）
- 对长序列用户行为/会话建模：可将历史按固定长度切 chunk，用 self-attentive pooling 得到 chunk 代表向量，再基于当前 query/item state 计算 sigmoid 门控，稀疏选择相关历史 chunk；论文中 chunk size 256、pooling window 32 是最优 trade-off，可作为初始超参。
- 工程上：HLA 用 chunk 级仿射转移 (A_j,B_j) 压缩历史，缓存规模为 N(d^2+Pd)，chunk=256 时比匹配 KV cache 省 50%；推理时权重<0.1 直接置零且不重新归一化，可跳过零权重状态转移，适合长会话推荐或 Agent 记忆系统做稀疏检索。
- 训练目标：用 effective support（Hill number）构造 L_budget/L_support，鼓励每个 query 只路由到少量历史 chunk，提升推理稀疏性和长程泛化；业务上可只训练 router、冻结 backbone，低成本改造已有 GDN/线性注意力模型。
- 局限：论文未评测 Agent 多轮工具调用、持续记忆等场景，且推理延迟增加约 10–19%；若用于长程 Agent 记忆或电商超长上下文排序，需自行补充多轮、跨任务、工具反馈评测。
三阶线性注意力：三维循环状态用于长上下文序列建模
🧭 线性注意力 · 长上下文状态扩容 ★ 深度解读
Massachusetts Institute of Technology · MIT-IBM Computing Research Lab
将线性注意力的矩阵状态扩展为三阶张量，用第二个 key 维度以极少参数成倍扩大状态容量，显著提升长上下文语言建模与 recall
📌 工作参考价值（4 点）
- 电商/推荐用户长期行为序列建模：用户行为序列长且稀疏，Transformer KV cache 显存贵；可把 user encoder 或长期兴趣提取器替换为 Triadic GDN/sGLA，用 E=4~8 扩大状态，参数只增加约 1%，线上保持 O(1) 状态，对历史兴趣 recall 提升明显。second key/query 建议用 softplus/sigmoid 非负激活，避免切片间抵消。
- Agent 长期记忆/长上下文工具结果：如果 Agent 用线性注意力做记忆，可在长上下文扩展阶段把 E=1 upcycle 到 E=8，不必从头训练；论文显示 upcycling 可恢复约 50%-75% 从 scratch 的收益，适合已有模型低成本升级。
- 混合架构取舍：搜推广 rerank 或 Agent 模型若采用 linear+softmax 混合，优先扩大 linear state 而不是 softmax GQA 的 KV cache；论文在 3:1 混合中，triadic E=4 比 GQA-4 在长上下文 PG19 和 NIAH 更好，且 64k 显存少约一半。
- 工程实现：chunkwise-parallel 实现中，把三阶 state 沿 value 轴切成 32 列块放到 registers，避免 SM 持有完整 state；joint key 内积分利用 Kronecker 结构降维，E 维只增加少量 C^2E 计算，长上下文效率优于 Transformer。
STEPQuant：Delta-rule 循环状态的时空误差感知量化
🧭 线性注意力循环状态量化压缩
Zhejiang University · NLPR & MAIS, Institute of Automation, CAS · Tsinghua University · City University of Hong Kong · Harvard University
提出时空感知的循环状态量化框架，按误差幅度与记忆寿命分配精度，并联合拟合 key-row/value-column 尺度
📌 工作参考价值（4 点）
- 若在线推荐/Agent 部署了 Qwen3.8-27B、Kimi-Linear-48B-A3B-Instruct 等混合线性注意力模型做生成式召回、query 改写或工具调用，可直接采用 STEPQuant 对循环状态做 6-bit 后训练量化，在接近 FP32 精度下获得 5× 状态压缩和大幅显存下降，适合大并发服务。
- 可借鉴其时空混合精度分配思想：在维护 user state / memory 时，不对所有维度一视同仁，按“记忆寿命”和“对输出误差的敏感度”做非均匀量化；长期偏好或高敏感维度保留 FP16/INT8，短期临时状态可降到 4-bit。
- 联合拟合 key-row 与 value-column 缩放系数的做法，对推荐模型里矩阵型状态（如 user embedding × topic embedding、长期兴趣矩阵）有启发：先离线估计各行列对最终 loss/输出的影响，再定制 scale 而非全局 uniform。
- 如果团队自研推理框架，可参考它在 SGLang 中的 GPU kernel 集成方式，将状态压缩与 serving 显存核算结合，上线前用长/短生成 benchmark 做精度-显存回归。
Video DeltaNet：面向直播视频生成的视频原生混合注意力
🧭 视频生成 · 混合线性注意力加速
University of California, Berkeley · Impossible, Inc. · University of Texas at Austin
提出 Video DeltaNet，用局部 Softmax 注意力+双向线性记忆加速视频扩散，在 MiniMax H3 上实现 14.5 倍去噪加速
📌 工作参考价值（4 点）
- 混合注意力可用于用户长期行为序列建模：对最近行为用局部 Softmax 精确捕捉，对远期行为用线性 memory 压缩，控制长序列推理成本；推荐/广告的 user sequence transformer 可以尝试。
- 分阶段 teacher-alignment 是向预训练模型注入新模块的低风险方法：先固定原主干，单独训练新分支对齐教师输出，再逐步解冻联合微调；适合在已有排序/召回模型上实验新型注意力。
- 按语义单元（session/帧/事件）更新 memory 而非逐 token：直播、短视频等场景中，用户在一个 session 内的行为可以聚合更新，减少状态更新频率，同时保持序列语义完整。
- few-step distillation + 分布式 serving 可大幅压缩生成式模型推理延迟：业务上如创意文案生成、商品视频摘要等可借鉴 8 步蒸馏和 SGLang 优化栈。
SpectralShift：通过谱重参数化实现门控 DeltaNet 的高效上下文窗口扩展
🧭 线性注意力长上下文扩展训练
Gaoling School of Artificial Intelligence, Renmin University of China · IQuest Research · Microsoft Research Asia
提出谱重参数化方法，通过重塑衰减谱和学习率缩放，提升门控 DeltaNet 的长上下文扩展能力
📌 工作参考价值（3 点）
- 若业务中采用线性注意力或状态空间模型（如 Gated DeltaNet、Mamba）做用户长期行为序列建模，可借鉴谱分析思路：调整转移矩阵初始化，将衰减率分布设计为“慢谱带为主、快衰减模式保留”，既能捕获数月级别的长期兴趣依赖，又能在会话切换时快速重置状态，避免历史噪声污染当前推荐。
- 在将通用 LLM/线性注意力模型继续预训练到业务长上下文场景（如超长用户反馈、多轮 Agent 交互记忆）时，不必盲目全局持续预训练：可只对状态转移相关参数（alpha 投影）做谱重塑初始化，并赋予其更大的学习率，其他层保持常规更新，以更低成本完成上下文窗口扩展。
- 该方法不增加推理计算或 KV cache，适合线上低延迟的推荐/搜索服务；若团队自研线性注意力序列模型，可直接沿用“初始化谱重塑 + alpha 投影学习率缩放”的工程 trick，避免修改推理代码。
HydraHead：基于头功能异质性的头维度混合注意力架构
🧭 多头注意力混合 · 长上下文高效推理 ★ 深度解读
Alibaba Group
利用可解释性识别检索关键头，在头维度混合全注意力和线性注意力，以极低训练成本突破长上下文瓶颈
📌 工作参考价值（4 点）
- 头维度混合可作为推荐系统长序列建模的新策略：在用户长行为序列中，可借鉴 HydraHead 思路，对部分注意力头保留精确交互（类似 FA），其余头用线性注意力压缩历史，平衡精度与效率。
- 可解释性驱动的头部选择可直接用于模型压缩：通过因果修补量化头的重要性，仅保留关键头为全精度，其余替换为低开销模块，能大幅降低长序列推理的 KV cache 和计算量，适合在线服务。
- 尺度归一化融合缓解不同注意力特征分布差异：当系统中需要拼合多种注意力输出时（如多模态、多专家），可采用 RMSNorm + 可学习缩放向量的方案，避免直接 concat 带来的优化不稳定，对特征融合模块设计有直接复用价值。
- 三阶段迁移学习路线适于将现网大模型快速改装为混合架构：参数继承 + 层对齐 + 全局蒸馏 + 长文微调的流程可在几十亿 token 内完成，对已有业务模型低成本扩展上下文窗口有参考意义。
Ling 和 Ring 2.6：万亿参数级高效即时代理智能
🧭 Agent 高效训练与推理优化
Inclusion AI
通过架构升级、混合线性注意力及强化学习框架实现高效推理与代理能力的万亿参数模型家族
📌 工作参考价值（4 点）
- 长上下文推理效率：混合线性注意力（Lightning Attention + MLA）可大幅降低长序列（如用户行为序列、多轮对话）的预填充和解码延迟，直接适用于电商搜索/推荐系统的实时重排序或解释生成场景。
- Token 效率优化：最短正确响应蒸馏和双向偏好对齐能训练模型用更少 token 提供精准推荐理由或答案，降低服务成本，尤其适合用户触达、消息推送等延迟敏感的业务。
- Agent 训练稳定性：KPop 异步 RL 调度框架可借鉴到多步搜索 Agent 的训练中，通过异步采集搜索、工具调用、工作流执行等环境交互数据，提升样本利用率和训练吞吐，适合构建能自主调用商品检索、价格对比等工具的购物助手。
- 业务模型迁移升级：论文从已有模型（Ling-2.0）通过架构迁移和继续训练而非从头预训练的方法，对于已有推荐/对话模型向 Agent 方向升级提供了一个低成本路径，避免全量重训。
用于生成式检索的门控双向线性注意力
🧭 生成式推荐 · 线性注意力 ★ 深度解读
Yandex
提出GBLA混合编码器，以1:2交错自注意力与线性注意力，在长序列生成式检索中匹配双向自注意力质量，推理加速最高8.2倍
📌 工作参考价值（4 点）
- 混合编码器是工程落地的优选策略：在生成式推荐编码器中，以[SA, LA, LA]模式（1个标准自注意力层 + 2个线性注意力层）替换全自注意力，能在几乎不损失召回率的同时大幅降低长序列下的延迟，适合历史行为序列极长的电商或流媒体场景。
- GBLA的三个轻量组件可以直接复用：针对线性注意力添加上下文卷积（Conv1D）、Key门控（soft forgetting）和RMSNorm门控输出，每个组件带来约0.5-1个点的Recall提升，实现成本低，可在自研模型里快速实验。
- 双向注意力对编码器至关重要：实验表明编码器用双向掩码比因果掩码在Recall@10上绝对高出9个百分点以上，设计生成式推荐编码器时应坚决保留双向上下文。
- 长序列推理加速的临界点：在H100上，序列长度超过4096时线性注意力开始反超FlashAttention-v3，到32K时加速8.2倍；这提示在用户序列长度上万级别时，线性注意力是延迟瓶颈的有效解法。
Gated DeltaNet-2: 线性注意力中擦除与写入的解耦
🧭 线性注意力 · 记忆更新解耦
NVIDIA
将 Delta 规则的记忆更新拆分为通道级擦除门与写入门，突破原有标量门控的耦合限制，显著提升长上下文检索性能。
📌 工作参考价值（4 点）
- 超长用户序列建模：电商中用户行为序列可达数万步，Gated DeltaNet-2 的线性时间复杂度和常量级解码内存可直接用于高效序列编码，其通道级擦除/写入解耦能更精细地更新兴趣记忆，避免旧兴趣过早丢失或新兴趣写入不足。
- 记忆网络的特征交互：可将该方法的核心思想——解耦“遗忘”与“记忆”的强度控制——迁移到特征交互的记忆模块，例如在 Deep Interest Network 中，用独立的通道门控来更新交叉特征的记忆，提升对用户长期偏好的捕获。
- 并行化训练的工程借鉴：论文推导的 chunkwise WY 算法和门控感知反向传播可直接用于大规模推荐模型的序列训练，在不牺牲模型表达能力的前提下大幅提高训练吞吐，适合线上内容快速迭代。
- Agent 工作记忆的维护：在多智能体系统中，该技术可用于维护上下文压缩后的记忆状态，通过解耦擦除和写入，实现对对话历史、环境状态的精准增量编辑，增强 Agent 在长对话或复杂任务中的上下文跟踪能力。
SANA-WM：基于混合线性扩散Transformer的高效分钟级世界模型
🧭 高效长视频世界建模 · 混合线性注意力
NVIDIA
用2.6B参数、单GPU在34秒内生成长达60秒的720p控制视频，效率比工业基线高36倍
📌 工作参考价值（4 点）
- 长序列建模的线性注意力可复用到用户行为序列：帧间Gated DeltaNet（GDN）的线性化记忆更新机制，与softmax高低频分工的思路，可直接用于电商用户长期兴趣建模，在保持精度的同时将显存和延迟从 $O(L^2)$ 降至 $O(L)$。
- 双分支控制可作为多模态条件生成的范式：将相机6-DoF分解为低频姿态与高频视角的双分支控制，对生成式推荐中融合多种条件（如时间、场景、个性化）的设计有参考意义。
- 两阶段生成（粗-精）是通用的效率优化：先用小模型快速生成粗稿，再用精炼器提升局部一致性，可迁移到生成式推荐的item生成链路，降低全尺寸模型的一次推理成本。
- 从弱标注视频中提取精确动作的流水线：可借鉴其从公开视频估算 metric-scale 相机姿态的方法，用于电商场景下的用户行为模拟数据构建，例如从店内视频中提取移动轨迹作为世界模型的训练监督。